Conventional cameras capture image irradiance on a sensor and convert it to RGB images using an image signal processor (ISP). The images can then be used for photography or visual computing tasks in a variety of applications, such as public safety surveillance and autonomous driving. One can argue that since RAW images contain all the captured information, the conversion of RAW to RGB using an ISP is not necessary for visual computing. In this paper, we propose a novel $\rho$-Vision framework to perform high-level semantic understanding and low-level compression using RAW images without the ISP subsystem used for decades. Considering the scarcity of available RAW image datasets, we first develop an unpaired CycleR2R network based on unsupervised CycleGAN to train modular unrolled ISP and inverse ISP (invISP) models using unpaired RAW and RGB images. We can then flexibly generate simulated RAW images (simRAW) using any existing RGB image dataset and finetune different models originally trained for the RGB domain to process real-world camera RAW images. We demonstrate object detection and image compression capabilities in RAW-domain using RAW-domain YOLOv3 and RAW image compressor (RIC) on snapshots from various cameras. Quantitative results reveal that RAW-domain task inference provides better detection accuracy and compression compared to RGB-domain processing. Furthermore, the proposed \r{ho}-Vision generalizes across various camera sensors and different task-specific models. Additional advantages of the proposed $\rho$-Vision that eliminates the ISP are the potential reductions in computations and processing times.

为基于几何的点云压缩（G-PCC）标准开发了基于学习的自适应环滤波器，以减少属性压缩工件。提出的方法首先生成多个最可行的样品偏移（MPSO）作为潜在的压缩失真近似值，然后线性权重以减轻伪影。因此，我们将过滤后的重建驱动尽可能靠近未压缩的PCA。为此，我们设计了一个由两个连续的处理阶段组成的压缩工件还原网络（CARNET）：MPSOS推导和MPSOS组合。 MPSOS派生使用两个流网络来模拟来自直接空间嵌入和频率依赖性嵌入的局部邻域变化，在该嵌入中，稀疏的卷积被利用可从细微和不规则分布的点中最佳汇总信息。 MPSOS组合由最小平方误量学指导，以进一步捕获输入PCAS的内容动力学，从而得出加权系数。 Carnet作为GPCC的环内过滤工具实现，其中这些线性加权系数被封装在比特斯流中，并以忽略不计的比特率开销。实验结果表明，对最新的GPCC的主观和客观性都显着改善。

最近的工作表明，变异自动编码器（VAE）与速率失真理论之间有着密切的理论联系。由此激发，我们从生成建模的角度考虑了有损图像压缩的问题。从最初是为数据（图像）分布建模设计的Resnet VAE开始，我们使用量化意识的后验和先验重新设计其潜在变量模型，从而实现易于量化和熵编码的图像压缩。除了改进的神经网络块外，我们还提出了一类强大而有效的有损图像编码器类别，超过了自然图像（有损）压缩的先前方法。我们的模型以粗略的方式压缩图像，并支持并行编码和解码，从而在GPU上快速执行。

尽管多尺度稀疏张量的卷积表示表明其较高的效率，可以准确地模拟密集对象点云的几何形状分量压缩的占用概率，但其代表稀疏的LIDAR点云几何形状（PCG）的能力在很大程度上受到限制。这是因为1）卷积的固定接受场不能很好地表征极其分布的稀疏点点； 2）经过固定权重的经过预定的卷积不足以动态捕获在输入条件下的信息。因此，这项工作暗示了邻里点的注意（NPA）来解决它们，在那里我们首先使用K最近的邻居（KNN）来构建自适应的当地社区。然后利用自我发明机制在该社区内动态汇总信息。将这种NPA设计为最佳利用跨尺度和相同相关性的NPA形式，以进行几何占用概率估计。与使用标准化G-PCC锚的锚相比，我们的方法为有损压缩提供了> 17％的BD率增长，并且使用Semantickitti和Ford数据集中流行的LIDAR点云的无损场景降低了> 14％的比特率。与使用注意力优化的OCTREE编码方法的最先进的（SOTA）解决方案相比，我们的方法平均需要减少分解运行时的分解时间要少得多，同时仍提出更好的压缩效率。

高速，高分辨率的立体视频（H2-STEREO）视频使我们能够在细粒度上感知动态3D内容。然而，对商品摄像机的收购H2-STEREO视频仍然具有挑战性。现有的空间超分辨率或时间框架插值方法分别提供了缺乏时间或空间细节的折衷解决方案。为了减轻这个问题，我们提出了一个双摄像头系统，其中一台相机捕获具有丰富空间细节的高空间分辨率低框架速率（HSR-LFR）视频，而另一个摄像头则捕获了低空间分辨率的高架框架-Rate（LSR-HFR）视频带有光滑的时间细节。然后，我们设计了一个学习的信息融合网络（LIFNET），该网络利用跨摄像机冗余，以增强两种相机视图，从而有效地重建H2-STEREO视频。即使在大型差异场景中，我们也利用一个差异网络将时空信息传输到视图上，基于该视图，我们建议使用差异引导的LSR-HFR视图基于差异引导的流量扭曲，并针对HSR-LFR视图进行互补的扭曲。提出了特征域中的多尺度融合方法，以最大程度地减少HSR-LFR视图中闭塞引起的翘曲幽灵和孔。 LIFNET使用YouTube收集的高质量立体视频数据集以端到端的方式进行训练。广泛的实验表明，对于合成数据和摄像头捕获的真实数据，我们的模型均优于现有的最新方法。消融研究探讨了各个方面，包括时空分辨率，摄像头基线，摄像头解理，长/短曝光和应用程序，以充分了解其对潜在应用的能力。

图形神经网络（GNNS）由于图形数据的规模和模型参数的数量呈指数增长，因此限制了它们在实际应用中的效用，因此往往会遭受高计算成本。为此，最近的一些作品着重于用彩票假设（LTH）稀疏GNN，以降低推理成本，同时保持绩效水平。但是，基于LTH的方法具有两个主要缺点：1）它们需要对密集模型进行详尽且迭代的训练，从而产生了极大的训练计算成本，2）它们仅修剪图形结构和模型参数，但忽略了节点功能维度，存在大量冗余。为了克服上述局限性，我们提出了一个综合的图形渐进修剪框架，称为CGP。这是通过在一个训练过程中设计在训练图周期修剪范式上进行动态修剪GNN来实现的。与基于LTH的方法不同，提出的CGP方法不需要重新训练，这大大降低了计算成本。此外，我们设计了一个共同策略，以全面地修剪GNN的所有三个核心元素：图形结构，节点特征和模型参数。同时，旨在完善修剪操作，我们将重生过程引入我们的CGP框架，以重新建立修剪但重要的连接。提出的CGP通过在6个GNN体系结构中使用节点分类任务进行评估，包括浅层模型（GCN和GAT），浅但深度散发模型（SGC和APPNP）以及Deep Models（GCNII和RESGCN），总共有14个真实图形数据集，包括来自挑战性开放图基准的大规模图数据集。实验表明，我们提出的策略在匹配时大大提高了训练和推理效率，甚至超过了现有方法的准确性。

实体对齐（EA）在学术界和工业中都引起了广泛的关注，该行业旨在寻求具有不同知识图（KGS）相同含义的实体。 KGS中的实体之间存在实质性的多步关系路径，表明实体的语义关系。但是，现有方法很少考虑路径信息，因为并非所有自然路径都促进EA判断。在本文中，我们提出了一个更有效的实体对齐框架RPR-RHGT，该框架集成了关系和路径结构信息以及KGS中的异质信息。令人印象深刻的是，开发了一种初始可靠的路径推理算法来生成有利于EA任务的路径，从KGS的关系结构中，这是文献中第一个成功使用无限制路径信息的算法。此外，为了有效地捕获实体社区中的异质特征，设计的异质图变压器旨在建模KGS的关系和路径结构。在三个著名数据集上进行的广泛实验表明，RPR-RHGT的表现明显优于11种最佳方法，超过了命中率@1的最佳性能基线最高8.62％。我们还表现出比基线在训练集的不同比率和更难数据集的基线上更好的性能。

新课程经常出现在我们不断变化的世界中，例如社交媒体中的新兴主题和电子商务中的新产品。模型应识别新的类，同时保持对旧类的可区分性。在严重的情况下，只有有限的新颖实例可以逐步更新模型。在不忘记旧课程的情况下识别几个新课程的任务称为少数类的课程学习（FSCIL）。在这项工作中，我们通过学习多相增量任务（limit）提出了一个基于元学习的FSCIL的新范式，该任务从基本数据集中综合了伪造的FSCIL任务。假任务的数据格式与“真实”的增量任务一致，我们可以通过元学习构建可概括的特征空间。此外，限制还基于变压器构建了一个校准模块，该模块将旧类分类器和新类原型校准为相同的比例，并填补语义间隙。校准模块还可以自适应地将具有设置对集合函数的特定于实例的嵌入方式化。限制有效地适应新课程，同时拒绝忘记旧课程。在三个基准数据集（CIFAR100，Miniimagenet和Cub200）和大规模数据集上进行的实验，即Imagenet ILSVRC2012验证以实现最新性能。

基于神经网络的图像压缩已经过度研究。模型稳健性很大程度上被忽视，但它对服务能够实现至关重要。我们通过向原始源图像注入少量噪声扰动来执行对抗攻击，然后使用主要学习的图像压缩模型来编码这些对抗示例。实验报告对逆势实例的重建中的严重扭曲，揭示了现有方法的一般漏洞，无论用于底层压缩模型（例如，网络架构，丢失功能，质量标准）和用于注射扰动的优化策略（例如，噪声阈值，信号距离测量）。后来，我们应用迭代对抗的FineTuning来细化掠夺模型。在每次迭代中，将随机源图像和对抗示例混合以更新底层模型。结果通过大大提高压缩模型稳健性来表明提出的FineTuning策略的有效性。总体而言，我们的方法是简单，有效和更广泛的，使其具有开发稳健的学习图像压缩解决方案的吸引力。所有材料都在HTTPS://njuvision.github.io/trobustn中公开访问，以便可重复研究。

从工程角度来看，设计不仅应该在理想状态下表现良好，而且还应该抵抗噪音。这种设计方法，即稳健的设计，在工业中广泛实施了产品质量控制。但是，经典的强大设计需要对单个设计目标进行大量评估，而这些评估的结果无法为新目标重用。为实现数据有效的鲁棒设计，我们提出了噪声（RID噪声）下的强大逆设计，这可以利用现有的噪声数据来培训条件可逆的神经网络（CINN）。具体地，我们通过前向神经网络的预测误差来估计设计参数的鲁棒性。我们还定义了一种基于CINN的反向模型的最大加权似然估计的样本方面的权重。随着实验的视觉结果，我们明确证明如何通过从数据中学习分配和稳健性来证明如何如何运作。关于几个具有噪声的现实基准任务的进一步实验证实，我们的方法比其他最先进的逆设计方法更有效。代码和补充在https://github.com/thyrixyang/rid-noise-aaai22上公开提供